Visual Style Prompting
https://gyazo.com/626ac5b2024d9d735434d6c09cf517e6
https://curryjung.github.io/VisualStylePrompt/Project
https://github.com/naver-ai/Visual-Style-Promptingnaver-ai/Visual-Style-Prompting
https://arxiv.org/abs/2402.12974Visual Style Prompting with Swapping Self-Attention
デノイズにはコンテンツとスタイルの二種類があると仮定し、self-attentionのKとVを参照画像のものに置き換えることでスタイル転送する
swapping self-attention
https://gyazo.com/8c7217323dd6c895d971b3813408a3e2
ただし、単純に全部のself-attentionを置き換えるとスタイルだけでなくコンテンツの方にも影響がでてしまう(content leakage)
bottleneck blockはコンテンツ内容が含まれるためswappingしない
downblockもswappingするとレイアウトが崩れた絵がでてしまうため適用しない
upblockのみ適用する
bottleneck blockとかdownblockってなんですか？nomadoor.icon
普通にU-NetのIN-MID-OUTでいいのかな
関連
Style Aligned